#!/usr/bin/Rscript
#################################################################
# Unpredicted Texts in languages other than "de" & "fr"
#################################################################
# Content
#################################################################
# 1) Dependencies
#################################################################
rm(list=ls())
#Libraries
library(rjson)
library(jsonlite)
library(readr)
library(data.table)
library(dplyr)
library(parallel)
library(doParallel)
library(iterators)
library(stringr)
library(elastic)
#################################################################
# 2) Read Data filter for languages other than german and french
#################################################################
setwd(dirname(rstudioapi::getActiveDocumentContext()$path))
parent_path <- getwd()

df <- readRDS("../../data/smd/raw_data_combined/SMD_TO_CLASSIFY.RDS")
df <- df %>% filter(!la %in% c("fr", "de")) %>% rename("text" = "tx")
#################################################################
# 3) Add Col selects class and makre them as unclassified!
#################################################################
df$selectsclass <- "Not Classified"
#################################################################
# 4) Wirte Out data:
write_rds(df, "../../data/smd/complete_data/SMD_CLASSIFIED_OTHER.RDS")
#################################################################
# 5) Combine the three parts with each other
#################################################################
df <- readRDS("../../data/smd/complete_data/SMD_CLASSIFIED_OTHER.RDS")
df1 <- df
df <- readRDS("../../data/smd/complete_data/SMD_CLASSIFIED_FR.RDS")
df2<- df
df <- readRDS("../../data/smd/complete_data/SMD_CLASSIFIED_DE.RDS")
df3 <- df
rm(df)

df <- rbind(df1,df2,df3)
df <- df %>% rename("tx" = "text") %>% rename("pubDateTime" = "pubDate") %>% select(-c(id)) %>% rename("url" = "link_url")

#Min Date / Max Date
minday <- min(df$pubDateTime)
maxday <- max(df$pubDateTime)

filename <- paste0("smd_all_curated_classified.RDS")

finaldir <- "../../data/smd/complete_data"
setwd(paste0(finaldir))
write_rds(df, filename)




                